查看原文
其他

实时重建手部网格;一键去水印神器!前沿技术简析~

Panpan CG世界 2022-05-24

点击上方蓝字CG世界关注我们

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体


今天我们写篇关于最新技术的。



手部网格实时重建


这是中国三位大神写的一篇论文《Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction》(实时三维手网重建中精确对齐的研究)


论文地址:https://arxiv.org/abs/2109.01723


RGB图像重建三维手部网格可以用于很多种情况,比如增强现实(AR)和混合现实体验(MR)等等,但这个任务需要实时速度、准确的手部姿势以及合理的网格图像对齐,能同时满足这三个要求对开发人员来说是一个很大的挑战。




针对这个问题,国人团队的三位大神Xiao Tang, Tianyu Wang, Chi-Wing Fu提出将手部网格重建最新方法。


任务分为三个阶段:

1.预测手部关节和分割的关节阶段;

2.用于预测粗糙手部网格的网格阶段;

3.细化阶段,用于使用偏移网格对其进行微调,以实现网格图像对齐。




“通过对网络结构和损失函数的精心设计,我们可以促进高质量的手指级网格图像对齐,并将模型驱动在一起以提供实时预测。基准数据集上的大量定量和定性结果表明,我们的结果质量在手部网格、姿势精度和手指图像对齐方面优于最先进的方法。”



利用神经网络扣除图片物体并完整修复背景


一科学家小组公布了一种技术,它是一种新傅立叶卷积的分辨率鲁棒性的大型遮罩修复技术,简称LaMa。LaMa可从图片中删除各种对象,如人物、家具、建筑物、动物、不需要的细节等。然后神经网络会重新修复删除物体背后的背景,即使很复杂的场景表现也非常出色。



大家首先想到的是Photoshop里的智能填充功能吧?我也是,于是我试了试,但是PS好像也能,但是复杂一点的背景恢复的没有这个好。不过这个修复完了,有时候留下一个黑影~



看它给的案例挺厉害的,我寻思这得试试啊。于是我翻了很多图之后,找来下面这张图测试。


原图(素材来源网络侵删)


用它的工具画了个遮罩。



执行



得到的结果图片如下▼



效果倒是可以,但是为啥不按照我的遮罩执行命令,把左上角水印和竹排都给我搞没了??!我遮罩没画好的原因么??还是在跟我显呗去水印能力?


好吧,既然能去水印,看看去个水印如何?于是我找到一个相对复杂的图片。▼



网上随意找了个图,这个图即带铁丝网,后边背景又有图案,水印还是透明的。于是我就把它拖到LaMa的网页里,执行,唉我去,效果相当可以。▼



为了对比,我又找了一个去水印专有软件Inpaint,用这张图试了试,得到的结果是这样的。▼



这是PS智能填充得到的效果。▼



当然了,大千世界各种特殊的图片都有,不是每个都可以一键比较完美的扣除的。后来我又找了几个特殊的。效果不是很理想。▼




好了,看我玩了半天,是不是也馋了,想试试手吧?


https://huggingface.co/spaces/akhaliq/lama


用网页打开上面这个网址,看到这样一个界面。▼



其实很简单,大家经常摆弄Max,Maya大型软件,这个玩意一看就会。


点击上面的虚线框,或者拖拽一张图到虚线框里也可以。▼



然后点击,右上角有个Edit。▼


左侧是工具栏,右侧是操作栏,大家一看就知道了。▼



用铅笔工具画个遮罩圈圈,这个工具我没弄明白到底是涂满还是圈上主体就可以,有时候结果不是很准,大家自己研究吧。▼



接着点击Submit(提交)▼



稍等一会,结果就出现在右侧了。时间长短根据处理图片复杂程度有关。▼


反正我觉得,如果看中网上某个材质图片,有水印的,这个感觉很方面,打开网页,画个遮罩就出来了,扣个人像,如果不复杂,也是很快的。


论文地址:https://saic-mdal.github.io/lama-project/


好了,今天内容就到这里吧。

全文完

不开玩笑!你自己也能做出好莱坞大场面!


闲着没事就写个工具,不卖,就是自己用!Houdini大神都这么强么?


这水准胜过很多专业团队了!!高布兰学院学生毕业短片


苹果也加入Blender基金会了~!


好玩!用个Ipad就实时把现实物体变成3D物体了?两个有意思的论文解析


为《长津湖》做概念设计是怎样的体验?概念设计师孙立东专访


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存